Trương sinh vào năm Quang Tự nguyên niên 1875, người huyện Hải Thành, tỉnh Phụng Thiên. Thuở nhỏ có biệt danh Trương nhọt già, tương truyền xuất thân gia đình bần nông. Cha mất sớm, từ nhỏ phải bán túi xách, làm thợ mộc để kiếm sống.

Tuy vậy, Trương từ nhỏ đã được học hành ở trường tư thục, sau học nghề thú y. Năm 1894, Trương gia nhập lực lượng Nghị quân (毅軍, Yi jun) dưới quyền thống binh của Tống Khánh, sau được biên thành Vũ Vệ Tả quân. Sau thất bại trong Chiến tranh Giáp Ngọ, tháng 3 năm 1895, Trương về quê cũ, vận động thân sĩ địa chủ thành lập đội Bảo an. Năm 1901, được tướng quân Tăng Kỳ thu nạp, nhậm chức Du kích Mã đội Quản đái, sau thăng làm Thống lĩnh Tiền lộ của Phụng Thiên Tuần phòng doanh.